Neuron：什么决定你的选择？
适应性生物面临着一个探索/开发困境，即选择一个熟悉的选择，以获得已知的奖励，还是探索不太熟悉的选择以期望找到更好的东西。
近年来研究显示，有两种变量驱动着哺乳动物大脑探索新的选择：视觉新颖性和结果不确定性。虽然这两种变量对探索十分重要，但两者在实验中常常被混淆，因为一般来说，新颖的东西往往是不确定的。
John O教授团队针对上述问题进行了一系列实验，并将其成果“Novelty and uncertainty regulate the balance between exploration and exploitation through distinct mechanisms in the human brain”于2022年7月发表于Neuron杂志。
欢迎加入
全国脑成像学术讨论群
全国心理学学术讨论群
添加小编微信
brainnews_09
-留言：脑成像、心理学研究群-
1. 实验内容
该团队让32位受试者进行多臂老虎机任务，同时进行功能核磁共振（fMRI）检测。任务如下：受试者会进行连续4次，每次15分钟的fMRI检测过程，每个过程经历5个学习模块，每个模块就相当于进入1个新的赌场，赌场中会有5台不同的老虎机，其中3台是之前经历过的，两台是新的，在每个赌场中，每台老虎机胜率是一定的，但是不同赌场的老虎机的胜率是独立的，受试者在每个模块中要进行18-23次试验，每次试验被要求要在两台老虎中进行选择，选择之后，该机器会给出1美元（胜）还是0美元（败）的结果，实验最后，会随机抽取1个之前经历过的赌场，受试者要尽可能地积累更多的奖赏。
根据两台老虎机奖励概率（预期值操纵）、之前曝光的次数（新颖性操纵）以及它们在现在模块中出现的次数（不确定性操纵）的不同来系统地检测奖励、新颖性以及不确定性对选择的影响（图1）。
图1. 实验流程
2. 奖励、新颖性以及不确定对选择的影响
之后，该团队分析了受试者在任务中的行为，发现奖励是主要影响选择的因素，同时参与者倾向于选择更具新颖性，回避更多不确定的选项（图2.A-C）。
此外，随着学习进程的发展，奖励一直是影响受试者选择的最重要因素，而不确定性被逐渐回避，新颖性则慢慢成为偏好（图2.D，E）。该团队对另一个79人的队列重复了上述实验，得到了类似的结果。
图2. 奖励历史、新颖性和不确定性对选择影响的行为证据
之后，该团队构建了一个基本可以完全捕捉到上述实验内容特点的计算机模型：熟悉度调节的置信区间上界算法模型（fmUCB），其中每个选项都表示为Beta分布，它是根据之前观察到的结果的近期加权整合定义的，乐观初始化值是新颖性的参数，分布的平均值和方差分别是选项的预期值和不确定性（图3）。
图3. 计算模型
3. 模型参数的神经基础
该团队之后用fMRI识别与fmUCB模型关键变量相关的大脑区域，结果显示，腹内侧前额叶皮质（vmPFC），腹侧纹状体以及后扣带回这几个脑区与选择密切相关，其中vmPFC、腹侧纹状体以及后扣带回与评估相关，vmPFC同时也与决策相关。
将选择分解为组成期望值和不确定性偏差项，结果则显示vmPFC与乐观初始化预期值，即新颖性相关，内侧PFC（mPFC）则与不确定性偏倚相关（图4，5）。
图4. 指导选择的计算变量的神经关联
图5. vmPFC和腹侧纹状体的乐观初始化值表现
4. 新颖性破坏了不确定性偏差的计算
上述结果显示，随着学习进程的进展，受试者越不愿意去探索不确定性高的选项，更愿意去选择新颖性高的选项而不考虑该选项的不确定性。这背后的原因可能有两种，要么是在不确定性偏差完全融入主观选择之前，新颖性促进了选择，要么是计算不确定性偏差所需的神经过程可能会直接被新刺激所参与的过程所阻碍。
上述fMRI结果也显示，mPFC与不确定性偏倚相关，因此在mPFC上进行了上述两种猜想的比较，结果显示，新颖性会大幅抑制不确定性导向决策的引导过程。此外，也发现额极皮质（FPC）也与该过程相关（图6）。
图6. 新颖性对不确定性偏倚和选择的影响
结 论
人类探索时同时针对不同的刺激特征，涉及不同的策略和潜在的冲突偏好，新颖性和不确定性通过不同的机制影响探索的发生，平衡探索/开发之间的矛盾。
原文链接：
https://doi.org/10.1016/j.neuron.2022.05.025
参考文献
Cockburn et al., Novelty and uncertainty regulate the balance between exploration and exploitation through distinct mechanisms in the human brain, Neuron (2022).
编译作者：KK（brainnews创作团队）
校审：Simon（brainnews编辑部）
往